[レポート] データエンジニアのキャリア設計 #dbtCoalesce

大阪オフィスの玉井です。

2022年10月17日〜21日に行われたCoalesce 2022というハイブリッド（オンライン+オフライン）カンファレンスが開催されました。主催はdbt labs社です。

本記事は、その中で発表されたEngineering your analytics career pathというセッションについて、レポートをお届け致します。

セッション概要

登壇者

• Phoenix Millacy Jay
  • Analytics Engineer, K Health

超概要

データ分析関係の技術者のキャリアパスをどう考えていくか、というセッションです。

セッションレポート

前段

私の名前はPhoenix Jです。私は講演者であり、ソートリーダーであり、 アナリティクスエンジニアでもあります。

私は、今日に至るまで、たくさんのキャリアのピボットを経験してきました。

MERGE

さて、このセクションの最初の部分は、MAERGEです。この意味するところは、私のストーリーの軸となるもので、私を励ましてくれるもの、より大きな絵、より大きな世界とのストーリーです。そして、今日ここにいる皆さんに、自分のストーリーを「マージ」させることを勧めたいのです。

2018年にテキサス州ヒューストンで開催されたGrace Hopper Celebrationのカンファレンスでは、当時私はまだアナリティクスエンジニアリングの修士課程におり、誰も知り合いがいなかったんです。カンファレンスのテーマは「We Are Here」でした。その時の行動のきっかけは、とりあえず何らかの形で貢献することでした。大きなことでも小さなことでもよかったのです。しかし、私は誰も知らないままカンファレンスに参加し、自分一人しかいないと思っていました。まだデータアナリストでもなければ、データ分析の世界にいるわけでもありませんでした。

しかし、スライド左の写真を、アプリのデジタルアートギャラリーに投稿したら、その10分後に、もう何年も話していない学部時代の友人から「今、写真を見て、あなたの名前が載っていたんだけど、カンファレンスに来てる？会わない？」というメールが来ました。この出会いが、私の軌道を大きく変えました。というのも、私はこのカンファレンスに参加していないに等しく、自分の居場所もないと思っていたからです。でも、自分のストーリーを投稿して、”メインブランチにマージした”10分後には、実はその日、たくさんのドアと道が開かれたんです。昨年のdbt Coalesce 2021でもそうでした。参加し、投稿をしたら、突然、みんなが私を支え、迎え入れてくれたのです。そして、そのことが私を勇気づけ、飛躍させることになったのです。

数週間前、再びGrace Hopper Celebrationに参加しました。テーマは「Next is now」でした。そして今、私は食べ物や廊下の写真を撮るだけではなく、自分の写真を撮っていました。あらゆるものの写真を撮っていました。そして、ソーシャルメディアに投稿し、私のストーリーを聞いてもらえるようにしました。

この講演のために多くの人に話を聞き、彼らのインサイトを得ましたので、それらを紹介します。

これはdbt labsのJason Ganz氏の言葉です。「ツイートする権利を得る必要はない」。あなたはもうそこにいるのです。あなたはすでにこのカンファレンスに参加しているのです。そして、今日、あなたが共有したことは、あなたの次の努力に役立つことでしょう。

SELECT - FROM- WHERE

さて、いよいよプレゼンテーションの本題です。先程のストーリーをメインブランチにマージするのはもう大丈夫ですね。

では、次は「SQL」をいくつか紹介しましょう。

SELECT

まずはSELECT句です。（実際のSQLでも）これからスタートすることが多いですね。

「データ分析における役割」とは何か？わからないままでもいいし、複数の道があるかもしれないという考えがあってもいいし、1つにきっちり絞る必要はありません。でも、自分が「北極星」に向かっていることが分かれば、非常に明確な道筋で前進することができます。

dbtが教えてくれたのは、dbt以前の古いモデルとして、データエンジニアがデータを生の状態からデータサイエンティストに渡して、何らかの方法で最適化するというものがある、ということです。そして、それを収益化するビジネス・ステークホルダーは、ほとんど工場の組み立てラインのようなものです。

対して、この新しいモデルは、明確な線ではなく、すべてが一緒になっているのです。そのため、次から次へと簡単に移行することができ、ピボット（軸足）を作ることができるのです。

例えば、このように3つの役割がありますよね。これは、私がいろいろな人に話を聞いて得た知見ですが、これらは全体を通して変化していきます。

ここでわかるのは、データサイエンティストの役割はある領域をカバーし、データアナリストや他の領域、アナリティクスエンジニアは他の領域をカバーするということです。

データアナリストからアナリティクスエンジニアに移動することに焦点を当てたいとします。そうすると、全体的に移動するにつれて、データ変換の部分にもっと焦点を当てたくなりますし、その逆も然りです。このように、さまざまな役割の間にあるさまざまなスキルを見て、どこに優先順位をつけ、どこに優先順位を下げればいいかを考えることができるのです。

また、ツール別に見ると、どのように物事が進んでいくかがわかります。例えば、dbtに焦点を当てるとします。

同じように、そこでデータ変換が起きていて、その中を移動することができるのです。しかし、これは今日だけのことです。1週間後、1カ月後、1年後には、すべてが変わっているでしょう。だから、色々なストーリーをメインブランチにマージすることで、他の人たちから学ぶことができるのです。そして、彼らの話を聞くことで、自分がどのスキルを通そうとしているのか、どのツールを知る必要があるのかを知ることができるようになります。

今すぐ知る必要はないんです。今日ここにあるこのカンファレンスで、新しいツールは何なのかを考えてみてください。新しいシステムは何なのか？役割はどう変化しているのか？

私は2018年〜2019年の間にアナリティクスエンジニアになりました。カリキュラムにはアナリティクスエンジニアリングについて何も書かれていません。だから、これからも変わっていくでしょう。dbtを知ったのがきっかけで、切り替えました。

FROM

さてさて、次はFROM…どういう成長の方法をとるかですが、あなたはどの方向に進みたいですか？

個人で能力開発、あるいは社外でのネットワークづくりなどがあります。

もう少しフィルタリングしてみましょう。

自己学習としては、ブートキャンプに参加、正式な学校に通う…などがあります。自己学習は、datacampやCourseraのような仮想デジタルオンラインリソースを入手するようなものです。Kaggleは、オンラインデータセットとコンペティションでポートフォリオを構築するための最高のものの1つです。

ブートキャンプ（3カ月から9カ月）と正式な学校（1年から2年）。私はこれら全て経験しました。

次の質問を考えてみてください。「正式な学校は、私のキャリアの切り替えを安定させることを保証する」ファクトかフィクションか？

ヒントその1。この講演のためのリサーチで、ある人が「データはワイルドウェストであり、常に変化し、進化している」と言いました。

ヒントその2：博士課程を退学した後、私が正式に学習した事がすぐに陳腐化することが明らかになった。

同じような経験をされた方はいらっしゃいますか？

答えはフィクションです。

WHERE

WHERE句は、社内、仲間、同僚、マネージャー、スキップレベル、社外チームなどです。

同僚や仲間について。まず上司に相談するのが一番簡単かもしれませんね。自分のスキルや目標を伝え、上司に助けを求めればいいのです。でも、自分の話を上司にマージして伝えるだけでもいいんです。そうすれば、彼らはあなたのことを見守ってくれるでしょうから。必ずしもお願いする必要はありません。自分がどこに行こうとしているのかを共有するだけで、他の人があなたを助けてくれるようになります。

外部のチームについては、それほど怖い存在ではありません。必ずしも日常的に一緒に仕事をするわけではないかもしれませんが、バーチャルやオフィスでのシャドーイングを許可してくれるプロジェクトがあるかもしれません。また、あなたが日常的に仕事をするのであれば、必ずしも担当しないようなことでも、あなたが日常的に貢献できるようなプロジェクトを見つけられるかもしれません。もしあなたがシェアすれば、彼らはあなたのために何かを見つけてくれるでしょう。

また、個人貢献者コースと管理職コースがあっても、自分の進むべき道を進むこともできますし、上に行ったり、後ろに回ったりすることもできますし、一つの直線的なコースにとどまる必要はありません。管理職になったからと言って、もう戻れないというわけではありません。

外部のコミュニティについて。あなたは今ここにいます。dbt Coalesce 2022にいます。直接または仮想的に参加しています。

私にとっては、dbt Slackコミュニテは最高のエールの一つです。なぜなら、ここのユーザーは素晴らしいからです。

昨年のCoalesceに参加して感じたことは、私は直接参加しているのですが、ちょうど私の部屋の中にいるような感じでした。それはちょうど私はそれがどのように働いたかわからないです。でも、彼らはそれをヴィヴィッドに実現させてくれました。他の多くの人たちと話をすると、Twitterで自分のストーリーを共有し、スキルアップやネットワークを構築するための素晴らしい場所となっています。それから、Discordのコミュニティもかなり大きくなっています。

この講演のための調査の一環として、私が得た興味深いフィードバックの1つは、LinkedInは死につつあるということでした。皆さんはそのような話を聞いたことがありますか？私は聞いたことがありません。それは私が予想していたものとは本当に大きく異なっていました。実際、私が聞いた範囲では、かなり極端でした。私自身は、LinkedInで素晴らしい機会にあったことがあります。

正直なところ、どの業界を目指すかによります。Web 3.0を目指すのであれば、おそらく新しいコミュニティが見つかると思います。でも、どこから探せばいいんでしょう。LinkedInから始めて、周りに聞いてみると、きっと適切な場所を教えてくれるはずです。

JOINもあることを忘れないでください。これまで説明した自己学習（個人のスキルアップ）だけでなく、社内の仕事のネットワークだけでなくても、自由に全部組み合わせて動いてみてください。

Incremental Build

今回の講演の最終回では、インクリメンタルビルドを使いたいと思います。これは一体どういうことでしょうか？

私のキャリアパスは実に複雑で、学問、オペレーション、データ分析、そして、最終的には6月にアナリティクスエンジニアになったばかりです。

Grace Hopperの時は、金融業務とデータマネジメントの間にいました。1、2ヶ月のうちに、私の会社でdbtを使える人材を探していたのですが、その際に役立ったのがdbt Coalesceでした。私は外部のネットワークを通じて、dbt Coalesceにそれを学んだのです。

インクリメンタルビルドを使用して、小さな勝利に焦点を当てましょう。そして、もしあなたが今日、検証を必要としているのなら…私はアナリティクスエンジニアで、その道を歩んでいると言い切ることに抵抗があるのであれば…今日、私がその証明になることができれば幸いです。あなたならできますよ。あなたはここにいます。あなたはここにいて、dbt Coalesceに参加しました。あなたのストーリーを共有し続けましょう。

LinkedInやその他の新しいコミュニティで私とつながることができたら、お気軽にご連絡ください。dbt Slackでつながるのが大好きです。あなたのストーリー、あなたの旅路について聞いてみたいです。

今週ずっと、どこから来たのか、どうやって偶然あるいは意図的にアナリティクスエンジニアになったのか、データエンジニアリングに移ったのか、聞いたこともないような会社に入ったのか、みんなから色々な話を聞くことができました。皆さんもぜひ、自分の進む道を共有してください。本当にありがとうございました。

おわりに

データ分析関係のキャリアパスの説明を、SQLで例えるのが上手かったですね。

良い意味で、普通のことをしっかり伝えてくれたセッションだと思いました。現在のデータ分析関係のキャリアは、決して直線的なものではなく、ちょっとした一歩を踏み出すだけで、色々な領域にチャレンジできるようになっていると、私も思います。